DM&ML
DM_ML NOTES
ML_TEST
attachments
cards
BP神经网络
兄弟，你学这的时候最好悠着点，因为你正在学的不只是一个冰冷的线性组合，而可能是你构成你灵魂的底层架构。
M-P神经元模型
神经网络的基本单元
- 三要素
- 输入
- 权重
- 阈值（偏见）
- 激活函数
- 输出
- 输入
激活函数
我一个神经元可没那么多能量给你发这么多电位，转化一下凑合凑合能发一个你能比较大小的信号就 得了。
1. Sigmoid 激活函数
特点：
- 输出范围在 (0, 1) 之间。
- 非线性，能够对输入进行非线性变换。
- 常用于二分类问题的输出层。
优点：
- 平滑且连续，适合概率输出。
- 对小输入值有较强的响应。
缺点：
- 梯度消失问题，特别是当输入值较大或较小时。
- 输出不以 0 为中心，这可能导致训练收敛缓慢。
使用场景：
- 二分类问题的输出层，例如逻辑回归或二分类神经网络。
神经网络
神经网络是有具有适应性得简单单元组成的广泛并行互连的网路，它的组织能模拟生物神经系统对真实世界物体所做出的交互反应。
如何训练？
给定训练集
也就是
- 输入：
- 输出：
- 隐层：
- 假设为单隐层
- 有
- 激活函数假定为Sigmoid函数
那训练的目的就是确认所有的权值以及神经元上的偏置，参数总量为
目标函数
为了方便后续讨论，约定以下符号
- 第j个输出神经元的输入
- 第h个隐层神经元的输入
对于训练例
- 假定网络的实际输出为
则网络在
BP反向传播算法
- 的更新公式